Add test for the last unresolved bit of bug #416.  Check that
"xm list --long" reflects removed devices.

Move net split driver onto ring.h generic rings.

No backend should SHARED_RING_INIT(): that's the frontend's job.

Signed-off-by: Keir Fraser <keir@xensource.com>

ptsname() is applied to the master fd, not the slave fd.

Signed-off-by: Keir Fraser <keir@xensource.com>

Merged.

Move the dom0 ballooning-out code from the xm create handler and into the
server, where it can be used on reboot and migrate as well as create.
Ballooning bugs may still exist (it is unclear) but this is certainly a good
step in the right direction.

Ignore the memory and maxmem entries in the store for dom0 when restarting.
This means that the value in use at the time becomes the configured target.
This should fix the bug whereby dom0_mem settings on the command line are
being overridden by (older) entries in the store.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Remove /local when xenstored starts.  This stops stale data affecting the
system immediately after reboot.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Work around the fact that the physinfo dom0 call is not implemented for IA64.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Merged.

Added a pages_to_kib function, which converts a page count into a number of
KiB.  This allows us to compute the correct amount to balloon out to support
a migration.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Match rename of free_pages field to free_memory

Signed-off-by: Robert Read <rread@xensource.com>

Remove config.py, it's autogenerated from config.py.in

Merged.

Add a new /proc/xen file called 'capabilities'. Currently, when read in dom0 it will return 'control_d', and be empty when read in a guest. This provides a convenient way to allow the root user to detect whether they're running in a guest or dom0, and e.g. gate whether to start xend. In future, when we add more fine grained capabilities we will add other details into this file.

Signed-off-by: ian@xensource.com

Improve the tls warning message to mention that the best soloution is to install a 'xen-friendly' glibc.

Signed-off-by: ian@xensource.com

Merged.

Added xm rename command.  Improve the argument checking and error reporting.

Miscellaneous tidying up, no semantic changes.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix test following uuid format change in changeset 8089.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Move the relocate.setupRelocation code into XendDomain, removing the mutual
dependency between those two classes.

Split the XendDomain constructor into two pieces so that XendDomainInfo can
call XendDomain.instance even during the initial startup of XendDomain.

These two together mean that there is no need for the horrendous hack using
XendRoot.get_component to pass the singleton instance of XendDomain around.
Both XendRoot.get_component and XendRoot.add_component can go.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Match rename of xm info field from memory to total_memory.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix the reporting when this test fails (the eyecatcher variables would not be
created if the domain creation actually succeeded).  Use total_memory not
free_memory to determine how big to make the domain -- when ballooning down of
dom0 works properly, creating a domain larger than free_memory is possible.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Don't refuse to clean up after a domain death when the buffer is not empty.  If
the domain has gone away, then no-one can attach to the pty because Xend will
have cleaned up the entries in the store, so the pty will never become ready to
write.  The buffer will never get emptied, so cleanup will never occur. This
leaks ptys, file descriptors, and memory.  Simply throw those data away instead.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Move the translation from pages to MiB out of XendNode and into the xc layer.
xc has access to the page size for the platform and the Python layer does not,
so there was a hardcoded "/ 256" in there.

Rename the "memory" physinfo parameter to "total_memory", to match the usage
elsewhere.

Tidy the code generating the SXP for xm info.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Cope with longs being passed to xstransact.write.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added the errno to the messages printed with the ERR macro.  Tidy the use of
this macro where newlines have been appended -- the macro does this itself so
there is no need to add another one.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

GNTTABOP_map_grant_ref returns error status and handle as
separate fields. Update callers for new interface. Also
use int16_t as standard error code type on all public
interfaces.

Signed-off-by: Keir Fraser <keir@xensource.com>

Public interface cleanups. Widen some fields in public
interface defintions for future extensibility. In particular,
grant references are now 32 bits and this has some knock-on
effects on split-driver interfaces.

Signed-off-by: Keir Fraser <keir@xensource.com>

Remove some vmx header files from Xen public interfaces.
They are not public.

Signed-off-by: Keir Fraser <keir@xensource.com>

Some tweaks to the restore and migrate tests to expose the consoles of the
restored DomUs, since they currently Oops on x86_64.

Remove useless test 05_create_noroot_noram

Enable console debug dumping so that we submit the oops generated by
network-detach to the reporting site.

Fix serial pty creation in qemu-dm. Set raw attributes to
avoid weird buffering behaviour and obtain the pty name
via ptsname().

Signed-off-by: Ping Yu <ping.y.yu@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

We need to do sync when mov_to_cr3 to a value already shadowed.
The L2 page and already shadowed L1 page may be out of sync.
This fixes the problems of segmentation faults and strange prints
when booting Redhat FC3 and make kernel in FC3 in VMX domain.

Signed-off-by: Xiaofeng Ling <xiaofeng.ling@intel.com>

Add ATA-over-Ethernet as a module to the default 32-bit -xen config
(it is already included in the default 64-bit -xen config).

Signed-off-by: Keir Fraser <keir@xensource.com>

domain_pause duplicates the code from vcpu_pause. Eliminate the
duplicate code and make domain_pause a mirror of the existing
domain_unpause.

Signed-off-by: Tony Breeds <tony@bakeyournoodle.com>

Removes the carriage returns from some of the vtpm
source files that were edited in windows at some point.

Signed-off-by: Vinnie Scarlata <vincent.r.scarlata@intel.com>

writable_pl1e in shadow mode is a machine address, so
is type physaddr_t, not unsigned long.

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

Disable some over-zealous sanity checking for now (can cause major problems
with live migration to localhost). A proper fix will follow.

Signed-off-by: Steven Hand <steven@xensource.com>

Fix typo.

Signed-off-by: Steven Hand <steven@xensource.com>

Tidy and comment use of canonicalise_mode, et al.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Merged.

Increase device timeout to 10 seconds, as restarting a DHCP server takes a few
seconds, so we need to allow for that.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Avoid audit code during live migrate on 32bit since it's not required.

Signed-off-by: Steven Hand <steven@xensource.com>

Support facilities for the new DHCP support.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added trap for ERR, to get better response from the scripts when they are really
broken, and add do_or_die command.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Replace grep >&/dev/null with grep -q.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added DHCP server support, configured by a dhcp=yes parameter.  This will write
the appropriate entries into dom0's DHCP server configuration file, allowing
that server to provide info for the guest when it starts.

If an IP address is not configured for vif-nat, invent one using the domain
ID and vif ID.

Fix the vif-nat script.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Tidy up audit code for PAE plus avoid its use during live migrate where
it is not strictly required.

Signed-off-by: Steven Hand <steven@xensource.com>

Cleanup backend block device logic under save/restore; this should
fix the issues some people have seen with segfaults in vbd_translate
and/or user-space hangs.

Signed-off-by: Steven Hand <steven@xensource.com>

Remove shadow32 dead code (it's never built for other than
x86_32).

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix vmx guest issue of allowing accessing supervisor page
from user level program.
In shadow fault, we need to check U/S bit in error code.
It is just a fix for shadow32.c, for x86_64 code and
public code, it is already handled.

Signed-off-by: Xiaofeng Ling <xiaofeng.ling@intel.com>

Small fix for shadow mode: fix a p.t. limit check.

Signed-off-by:Xiaofeng Ling <xiaofeng.ling@intel.com>

Clean up a previous qemu workaround where we use
/etc/xen/qemu-vgaram-bin as vgabios.

Signed-off-by: Ke Yu <ke.yu@intel.com>

Fix a race condition for multi-thread qemu dma, where vmx linux guests
show warning "dma interrupt lost" and dma becomes very slow.

root cause: In the time between set ide irq and set dma status, if guest
receive the irq and query the status, it will find the status is not
ready and therefore treat it as pseudo interrupt. Change the order of
set irq and set dma status fixes this issue.

Signed-off-by: Ke Yu <ke.yu@intel.com>

Fix minor traceback in xen-bugtool when send fails

The device sharing check races when more than one file backed vbd is
configured. Both of the files pick the same free loop device in the for
loop, and then one fails to losetup.  This patch will now retry if
losetup fails until it succeeds or no more devices are available.

Signed-off-by: Robert Read <robert@xensource.com>

Make psmouse module builtin.

Signed-off-by: Robert Read <robert@xensource.com>

Bundle vcpu_time and vcpu_info structures together into a single
structure that is 64 bytes on x86. This ensures that indexing into
the array is fast (power-of-two size) and that accesses are cache
friendly (cache line size is usually 32 or 64 bytes).

Rename vcpu_data to vcpu_info, vcpu_time to vcpu_info.time.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix isConsoleDead() to actually run a command on the DomU, since a dead
console is no longer exposed when attempting to attach.  This makes test
04_memset_smallmem again able to detect console death and restart
xenconsoled so that the rest of the tests can run on x86_64.

Merged.

Move mk-symlinks target into tools/Rules.mk.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Change uuid string format to match that outputted by Xen.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Hardcode many cpu features for x86/64 -- we know 64-bit
cpus have many features by default.

Signed-off-by: Keir Fraser <keir@xensource.com>

In alloc_vcpu_struct, after doing a memset on the new allocated vcpu, we
do a memcpy from idle0_vcpu.arch to arch of the new vcpu, which causes
monitor_pagetable is set to a none 0 value.  For VMX guest which is
using external shadow mode, this is not what we really need. the
previous patch is OK for UP VMX guest, but failed on SMP VMX guest.

Signed-off-by: Xin Li <xin.b.li@intel.com>

Remove bogus extra unmap_domain_page() call in
free_monitor_pagetable().

Signed-off-by: Xin Li <xin.b.li@intel.com>

merge

merge

Keir did a similar change earlier, but my version removed some special case
code as well, now that __gpfn_to_mfn() can protect itself.

minor printf and log message rework in the shadow code.

Allow __gpfn_to_mfn() to automatically deal with translated domains != current.

Renamed gpfn_to_mfn_foreign() to get_mfn_from_pfn_foreign(), making it more
consistent with get_mfn_from_pfn().

arch/xen/kernel/fixup.c  -> arch/xen/i386/kernel/fixup.c
arch/xen/kernel/devmem.c -> drivers/xen/char/mem.c
arch/xen/kernel/smp.c deleted

Signed-off-by: Keir Fraser <keir@xensource.com>

Simplify boot_vcpu() implementation.

Signed-off-by: Tony Breeds <tony@bakeyournoodle.com>

Use StringIO to simplify string_iterator here.  Altered the up-front
documentation.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added README.xen-bugtool.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Change uses of \s within sed regexps -- some versions of sed do not support this
escape.

Allow the vif-nat and vif-route scripts to have netdev specified, rather than
hard-coding eth0.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added xen-bugtool, an application that collects various system logs and can
save them as a tarball, or submit them to a pre-existing bugzilla bug.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Set a console limit, in order to detect runaways.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix console handling; saveLog call was broken if ConsoleError occurred.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Remove keyword from call to xc.domain_setmaxmem; keyword support for this call
was removed with changeset 7955:f72da8799418.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Merged.

Change the console handling, to remove the loop and timeout if a console fails
to respond first time.  For restored and unpaused domains there is no need for
the console to output data, so we cannot use this as a way to detect the
liveness of a console.  Instead, a command must always be sent to the console,
which means that this failure can only be detected once the constructor of the
Console class has returned successfully.  The __chewall loop still remains, in
order to detect runaway consoles and to clear out previous data from the
console before executing commands, but we no longer treat failure of that
method to read data as a failure of the console itself.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Use the getId method to tidy up simple call to domid.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Remove looping from handling of xm domid.  This command should now work first
time after creation of a domain.  Have the getRunningDomains method detect
failure of the xm list command, as indicated by the error code.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Mark 03_network_attach_detach as XFAIL.  There are known bugs in the network
frontend device teardown.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Restore 05_create_noroot, as this test now seems to work, and remove
13_create_multinic from the XFAIL list, as this one works also.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Remove some Makefile cruft.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added device-sharing checks for loopback-mounted files.  The existing
check_sharing functions have been rejigged slightly so that the file-specific
stuff can share the code therein.  This separates the actual test from the
generation of the error message, and introduces the canonicalise_mode function.

This also restores the broken teardown functionality for file: devices -- the
writing of XENBUS_PATH/node had been removed, but this is required for file
device teardown.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Renable FAIL call that was disabled back when block-attach did not work.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Write the error message and the hotplug-status=busy in the same transaction, to
ensure that the message is picked up.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix formatting.

Signed-off-by: Steven Hand <steven@xensource.com>

Fix save/restore and migrate on x86_64.

Signed-off-by: Steven Hand <steven@xensource.com>

More cleanups to the pmd-shared patch.

Signed-off-by: Keir Fraser <keir@xensource.com>

Clean the arch_memory_op() for-loop header.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix x86_64 build.

Signed-off-by: Steven Hand <steven@xensource.com>

Merged.

Fix the unpause_basic test.  The console will appear to have failed, given the
current Console.py API, because no bytes have come from it, but that's not a
failure -- an unpaused domain has no reason to output any more data.  We need
to send a command to the domain before we can be sure whether it is alive or
dead, so move the FAIL call, allowing the console connection to throw
ConsoleError.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix the 06_block-list_checkremove test.  The use of string.find was invalid
(should be testing against -1, not merely using if or if not), one block-list
command was missing, and the block-detach command is asynchronous (to give the
domain time to close down the device) so we need a time.sleep(1) call before
trying xm block-list.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added a comment.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Also, make a small tweak to the 12_block_attach test so that we don't leave
a DomU running with a block device attached.

Signed-off-by: Dan Smith <danms@us.ibm.com>

Check when using physical devices that the device is not already in use.  Using
a device from two guests, or from dom 0 and a guest, can destroy the filesystem,
and this check prevents that.  This should ensure that the xm tests
11_block_attach_shared_dom0 and 12_block_attach_shared_domU should pass.
Closes bug #331.

Devices may be shared only if all uses are read-only.  If anyone has read-write
access to a device, then no sharing is allowed.

The mode in the config file may now have an exclamation mark appended, to
indicate that devices may be shared (i.e. that this new check should be
bypassed).  This supports some network block devices, but is clearly dangerous
and should only be used when you know what you are doing.

The mode specified in the config file is now written explicitly to the store,
To implement this, the blkback driver has been changed to create two entries
in /sys describing each device in use.  This means that we can determine which
devices are in use without crawling through the store.

The physical-device node has been changed to give the major and minor of the
device, separated by a colon.  This means that we do not need to pack these
numbers into one, removing the restriction to 8 bit minors that we had in place
before.

The mode specified in the config file is now written explicitly to the store,
rather than using the presence or absence of a read-only node.  This supports
the write-sharing override above.

If the device is in use, a new hotplug status of "busy" is written to the
store, and a message is written to a new hotplug-error node.  Xend uses these
things for diagnosis.

The block scripts do not need to handle online or offline events, so this
support has been removed.  These scripts can be called twice, depending upon
the hotplug config, so they now identify the second run and do not attempt to
set up the device again.

The device directories in the store are cleaned out before new details are
written there.  This prevents stale information from messing up block device
hotplugging.  This will be one cause of "blkback: changing physical device
not supported" messages.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Implement new memory_op() XENMEM_machphys_mfn_list. Replaces old
privcmd Linux ioctl and includes an implementation for x86/64.

Signed-off-by: Keir Fraser <keir@xensource.com>